在最近的數據采集研究中, 發現很多頁面的內容都是在iframe中的, 這位采集帶來了不少困難. 經過一番思考之后, 我想到了C#的解決辦法: 1. 運行Spider Studio, 加載頁面 htt ...

最近遇到的一個需求是如何讓程序自動登錄淘寶, 獲取用戶名稱等信息. 其實這個利用SS (SpiderStudio的簡稱) 實現起來非常簡單. 十數行代碼就可以做到非常完善: 1. 運行SS (下載地 ...

最近一個項目中需要用到過往的天氣數據, 我找到了天氣后報這個網站 (www.tianqihoubao.com), 並在SS中完成了相關采集, 和大家分享一下. 首先分析這個網站提供了兩種信息: 1 ...

最近在一個POC的項目中要用到JSON和XML的相互轉換, 雖然我知道很多類庫如JSON.NET具備這種功能, 但是我還是另辟蹊徑的使用Spider Studio結合一個在線工具網站快速實現了這個功能 ...

做數據抓取和分析的各位親們, 有沒有遇到下面的難題呢? - 如何從各式各樣的網頁中提取正文!? 雖然可以用SS為各種網站寫腳本做解析, 但是互聯網各類網站何止千萬種, 縱使累死我們也是做不完的. ...

其實問題很簡單: 我的產品頁面在 http://www.gdtsearch.com/products.spiderstudio.docapi.htm, 這是一個靜態頁面; 而我所有的技術博客都在博客園 ...

多線程蜘蛛程序是一個很有用的組件, 我在自己開發的Spider Studio中也提供了一個. 在設計上我盡量遵循使用簡單的原則, 大量使用dynamic對象的特性, 使得代碼非常精簡靈活, 通過17行 ...